arxiv：2409.05448v3 [CS.CL] 2024年10月25日__

arxiv：2409.05448v3 [CS.CL] 2024年10月25日

可下载资源数量

已经购买

下载数量：1

单价	0 2.0
Coupon	100% 0%
Total	0 2.0

点击下载点击购买并下载

点击购买，资源将自动在新窗口打开.

机构名称：

arxiv：2409.05448v3 [CS.CL] 2024年10月25日

¥ 2.0

热度

实体跟踪对于复杂的重新制定至关重要。要执行语言模型（LMS）必须将实体绑定到其属性（例如，将容器绑定到其包含）以回忆给定实体的属性。例如，给定一个上下文中提到的“ cof-费用在框中，石头在框中，地图在框H中”，以推断“ Box z Z含有咖啡”，LMS必须将“ Box Z”绑定到“咖啡”。为解释LMS的结合行为，Feng和Steinhardt（2023）引入了一种结合ID机制，并指出LMS使用称为Binding ID（BI）的抽象概念来内部标记实体 - 属性对。但是，他们尚未从直接确定绑定行为的实体激活中捕获订购ID（OI）。在这项工作中，我们通过本地化OI并证明OI和结合行为之间的因果关系提供了一种新颖的看法。具体而言，通过杠杆尺寸缩小方法（例如PCA），我们发现LMS激活中存在一个低级别的子空间，主要编码实体和贡献的顺序（即OI）。此外，我们还发现了OI对结合的因果效应，即沿OI编码方向进行编辑代表时，LMS倾向于相应地将特定的实体与其他贡献结合。例如，通过沿OI编码方向进行修补激活，我们可以使LM推断“ Box Z包含石头”和“ Box Z包含地图”。本文中使用的代码和数据集可在https://github.com/cl-tohoku/oi-subspace上找到。

添加pdf代下载 VIP点击下载文件